#!/bin/bash

#参数中，--device 为 -1 表示 cpu，其他数字i表示第i张卡。
#根据自己的显卡配置来决定参数，--quantize 16 需要12g显存，显存小的话可以切换到4或者8
python3 -u api_stream.py --host 0.0.0.0 --port 17860 --quantize 8 --device 0

# 测试命令
#curl --location --request POST 'http://hostname:17860/stream' \
#--header 'Host: localhost:17860' \
#--header 'User-Agent: python-requests/2.24.0' \
#--header 'Accept: */*' \
#--header 'Content-Type: application/json' \
#--data-raw '{"query": "给我写个广告" ,"history": [] }'
